Ngày 5 tháng 7 năm 1990, giám mục Phạm Đình Tụng được Tòa Thánh bổ nhiệm làm giám quản Tông tòa Giáo phận Hà Nội, kiêm chức Giám đốc Đại chủng viện Thánh Giuse Hà Nội.[9] Tổng giáo phận Hà Nội trước đó đang trong tình trạng trống tòa sau cái chết của Hồng y, Tổng giám mục Giuse Maria Trịnh Văn Căn.[4] Bốn năm sau đó, ngày 23 tháng 3 năm 1994, giám mục giám quản Tụng chính thức được Tòa Thánh bổ nhiệm làm Tổng Giám mục Tổng giáo phận Hà Nội.[13][14] Giám mục Tụng được nhận định là giám mục can đảm và trung kiên của Giáo hội Công giáo tại Việt Nam.[11]

Lễ nhậm chức của Tân tổng giám mục Phạm Đình Tụng được cử hành vào ngày 14 tháng 8 năm 1994.[15] Khi đó có nguồn dư luận lo ngại việc bổ nhiệm giám mục Phạm Đình Tụng về làm Tổng giám mục Hà Nội chỉ là một giải pháp tình thế, vì giám mục Tụng vốn có thể trạng gầy gò, ốm yếu và đã đến tuổi nghỉ hưu theo giáo luật Công giáo (75 tuổi).[2] Trong lễ nhậm chức, tân tổng giám mục tiến vào nhà thờ và quỳ, đề nghị mọi người giữ thinh lặng đế tưởng nhớ linh mục Phêrô Phạm Bá Trực – người cha linh hướng của mình và cố hồng y Giuse Maria Trịnh Như Khuê – người nâng đỡ và tấn phong giám mục cho ông vào năm 1963. Tổng giám mục Tụng cũng đã có bài phát biểu trong lễ nhậm chức, trong đó có đoạn:[15]

Ngay sau khi nhận giáo phận Hà Nội, Tổng giám mục Phạm Đình Tụng tấn phong tân giám mục phụ tá Phaolô Lê Đắc Trọng ngày 15 tháng 8 năm 1994.[4]

Chỉ sau 3 tháng tiếp nhận vai trò Tổng giám mục Hà Nội, ngày 26 tháng 11 năm 1994, Tổng giám mục Phạm Đình Tụng được Giáo hoàng Gioan Phaolô II vinh thăng tước vị Hồng y đẳng linh mục nhà thờ Santa Maria "Regina Pacis" in Ostia mare. Với quyết định này, ông trở thành vị Hồng y người Việt thứ ba.[16] Ngay sau khi vinh thăng Hồng y, ông nhận thêm nhiệm vụ Giám mục giám quản Tông Toà Giáo phận Hưng Hoá vì Giám mục chính tòa giáo phận Giuse Nguyễn Phụng Hiểu qua đời.[15]

Năm 1995, Hồng y Phạm Đình Tụng được các giám mục bầu chọn đảm nhận vai trò chủ tịch Hội đồng Giám mục Việt Nam và giữ chức vụ này trong 6 năm (2 nhiệm kỳ).[1] Cùng năm này, ông bị ngã gãy xương vai và được đưa đến bệnh viện để bó bột, đóng đinh. Tuy vậy, khi nghe tin Giáo hoàng Gioan Phaolô II cũng bị ngã, hồng y Tụng cũng gửi điện thăm hỏi.[15]

Hồng y Phạm Đình Tụng tái thiết Đại Chủng viện Thánh Giuse Hà Nội, tìm cách đối thoại với chính quyền để Giáo hội Công giáo được độc lập và tự chủ hơn trong việc tuyển chọn chủng sinh, đưa các linh mục thụ phong bí mật trước đây được công nhận công khai, xúc tiến mối liên hệ giữa Toà Thánh và chính quyền Việt Nam.[3] Năm 1996, ông vừa khôi phục vừa mở rộng Hội Thầy Giảng cũ của tổng giáo phận, thành lập Tu Ðoàn Tông Ðồ Truyền Tin không chỉ cho nam giới mà cả cho nữ giới.[17]

Năm 1996, hồng y Phạm Đình Tụng dẫn đầu phái đoàn các giám mục Việt đi viếng thăm Tòa Thánh, bổn phậm của các giám mục Công giáo mang tên Ad Limina. Ngày 1 tháng 8 cùng năm, ông cho thành lập Tu Hội Anh Em Nhà Chúa vốn kế nghiệp Hội Thầy Giảng. Hiện nay Tu Hội có danh xưng mới là Tu đoàn Truyền Tin Hà Nội.[4] Ngày 22 tháng 10 năm 1996, ông công bố Thư chung về vấn đề nghiện hút ma tuý ở ngoài xã hội. Trong thư, ông nhận định vấn đề nghiện ma túy là một tai họa cho xã hội và cho giáo hội vì nó tàn phâsức khỏe, hạ thấp nhân phẩm, gây rối loạn trong gia đình, mất trật tự xã hội, đe dọa đức tin và nếp sống Kitô giáo. Ông cũng kêu gọi chặn nạn nghiện ma túy và tẩy sạch nạn ma túy ra khỏi gia đình, giáo xứ và xóm làng.[15]

Năm 1997, Giáo hoàng Gioan Phaolô II gửi thư cho hồng y Phạm Đình Tụng, với tư cách Chủ tịch Hội đồng giám mục Việt Nam về việc kỉ niệm 200 năm Đức Mẹ La Vang.[18]

Phạm Đình Tụng được ủy quyền đại sứ cho giáo hoàng tại Đại hội Thánh Mẫu La Vang tổ chức vào ngày 13 tháng 8 năm 1998.[8] Ngày 1 tháng 9 cùng năm, Giám mục chính tòa Giáo phận Lạng Sơn và Cao Bằng Vinh Sơn Phạm Văn Dụ qua đời và ngày 10 tháng 3 năm 1999, Giám mục chính tòa Giáo phận Hải Phòng Giuse Maria Nguyễn Tùng Cương cũng qua đời. Ông phải kiêm nhiệm làm Giám mục Tông Toà 2 giáo phận này. Vì vậy, ông bận rộn với nhiều chuyến đi qua lại giữa các giáo phận khác nhau. Sáng ngày 15 tháng 3 năm 1999, ông chủ sự lễ tang Giám mục chính tòa Giáo phận Hải Phòng Giuse Maria Nguyễn Tùng Cương và buổi chiều về Hà Nội làm việc với phái đoàn của Toà thánh do Ðức ông Cetetino Migiliore đẫn đầu. Ngày 15 tháng 6 cùng năm, ông mất quyền tham gia Mật nghị Hồng y do đã quá tuổi quy định.[15] Ngày 7 tháng 11, với tư cách Chủ tịch Hội đồng Giám mục Việt Nam, ông viết thư xin cứu trợ cho trận lũ lịch sử tại miền Trung Việt Nam từ 1 đến 6 tháng 11 năm 1999.[19]

Trong thời gian quản lý Tổng giáo phận Hà Nội, hồng y Tụng thường quan tâm tổ chức các kỳ thường huấn linh mục, cổ võ ơn gọi tu trì và thăm viếng mục vụ nhiều giáo xứ. Ngoài ra, ông đã ra nhiều thư chung gửi giáo dân. Trong thời kỳ làm Giám đốc Đại chủng viện Hà Nội từ năm 1990 đến năm 2003, Phạm Đình Tụng dùng nhiều phương thức củng cố và phát triển Đại chủng viện. Ông cũng dành thời gian quan tâm đến việc huấn dụ và cử hành lễ cho các chủng sinh học tại đây.[4]